온갖 토큰들 간의 관계 벡터 값을 담은 데이터베이스를 "임베딩 매트릭스(Embedding Matrix)"라고 부른다.
거대 언어 모델이 만든 벡터 값을 소형 인공지능에게 제공하면 어떤 일이 일어날까? 학습이 엄청 빨라지겠지! 새로운 벡터 값들을 구할 필요가 없을뿐더러, 거대 언어 모델의 사전 학습된 지식을 그대로 활용하는 것이니, 소형 인공지능이 자체적으로 만드는 것보다 품질도 훨씬 나을 것이다. 이런 것을 일종의 "전이 학습(Transfer Learning)"이라고 부른다.
최근 들어 소형 인공지능의 발전 속도가 빨라진 데에는 거대 언어 모델의 "임베딩 매트릭스"가 큰 몫을 하고 있다.
임베딩 매트릭스는 단어나 토큰들의 의미적 관계를 수치화하여 벡터 형태로 저장한 데이터베이스이다.
전이 학습(Transfer Learning)은 이미 학습된 모델의 가중치나 벡터를 활용하여 새로운 작업을 더 효율적으로 수행하는 방법이다.
소형 인공지능은 임베딩 매트릭스를 활용하여 빠르게 학습할 수 있다.